![MixpanelのデータをFivetranを使ってSnowflakeにロードしてみた](https://devio2023-media.developers.io/wp-content/uploads/2020/04/fivetran-logo_1200x630.png)
MixpanelのデータをFivetranを使ってSnowflakeにロードしてみた
さがらです。
Mixpanelのデータを、Fivetranを使ってSnowflakeにロードしてみたので、その内容をまとめてみます。
FivetranのMixpanelに関する公式Doc
MixpanelでのAPI Secretの確認
まず、FivetranはMixpanelのAPIを叩いてデータを取得するため、MixpanelのAPI Secretを知る必要があります。
Mixpanelログイン後、右上の歯車マークを押し、Personal Settings
を押します。
左からProjects
を選択し、Fivetranに同期したいProjectのAPI Secret
の値を確認します。この値をFivetranでの設定時に使用します。
Fivetranでのセットアップ
※事前にDestinationの設定は済んでいる前提で進めます。
まず、左のConnectors
メニューを押してから、右上のAdd Connector
を押します。
データソースの一覧から、Mixpanel
を選択します。
Destination schema
にFivetranにより作成されるスキーマ名を入力し、Api Secret
に先程Mixpanelの画面で確認したAPI Secretを入力します。Data RegionはMixpanelのデータの保管先に応じて設定してください、デフォルトはUSのようです。
入力した後、Save & Test
を押します。
接続のテストが行われ、問題なければContinue
を押します。
コネクタの画面に移動するので、Start Initial Sync
を押します。
私は12000ユーザーそれぞれ数回購買イベントを起こしているサンプルデータを同期しましたが、Initial Syncの完了までは40時間ほどかかりました。
下図がロード後のテーブルの1つPEOPLE
テーブルですが、下図のように格納されていました。(データの中身自体はただのサンプルデータです)
最後に
Fivetranを使ってMixpanelのデータをSnowflakeにロードしてみました。
非常に簡単にロード出来るので、これでMixpanelで取得したオンラインのイベントデータと他のデータを組み合わせた分析・活用に手軽に取り組めますね!